A Particle Swarm Optimization inspired tracker applied to visual tracking

International audienceVisual tracking is dynamic optimization where time and object state simultaneously influence the problem. In this paper, we intend to show that we built a tracker from an evolutionary optimization approach, the PSO (Particle Swarm optimization) algorithm. We demonstrated that an extension of the original algorithm where system dynamics is explicitly taken into consideration, it can perform an efficient tracking. This tracker is also shown to outperform SIR (Sampling Importance Resampling) algorithm with random walk and constant velocity model, as well as a previously PSO inspired tracker, SPSO (Sequential Particle Swarm Optimization). Experiments were performed both on simulated data and real visual RGB-D information. Our PSO inspired tracker can be a very effective and robust alternative for visual tracking

Towards an Interactive Humanoid Companion with Visual Tracking Modalities

The idea of robots acting as human companions is not a particularly new or original one. Since the notion of “robot ” was created, the idea of robots replacing humans in dangerous, dirty and dull activities has been inseparably tied with the fantasy of human-like robots being friends and existing side by side with humans. In 1989, Engelberger (Engelberger

Etude de l'IHR sur deux groupes de personnes agées

International audienceWe used PR2 robot, in autonomous operation in a living lab setting, to provide an object search service to elderly volunteers (familiar to robots or naïve). Observation was complemented by semi-directed interviews. There was no significant difference between the groups either in the successful detection of the willingness to interact or the appreciation of voice interaction. This fosters dedicated HCI development for the elderly.Nous avons étudié l'interaction homme-robot, en fonctionnement autonome en environnement contrôlé, de PR2™ utilisé pour rechercher des objets avec des sujets âgés (avec ou sans expertise robotique). L'observation a été complétée d'entretiens semi-directifs. Il n'y a pas eu de différence significative entre ces deux groupes pour le succès de la détection d'intentionnalité et la perception de l'interaction vocale. Ce résultat est en faveur d'IHM prenant en compte les spécificités de la personne âgée

A Multi-modal Perception based Architecture for a Non-intrusive Domestic Assistant Robot

International audienceWe present a multi-modal perception based architecture to realize a non-intrusive domestic assistant robot. The realized robot is non-intrusive in that it only starts interaction with a user when it detects the user's intention to do so automatically. All the robot's actions are based on multi-modal perceptions, which include: user detection based on RGB-D data, user's intention-for-interaction detection with RGB-D and audio data, and communication via speech recognition. The utilization of multi-modal cues in different parts of the robotic activity paves the way to successful robotic runs

Perceiving user's intention-for-interaction: A probabilistic multimodal data fusion scheme

International audienceUnderstanding people's intention, be it action or thought, plays a fundamental role in establishing coherent communication amongst people, especially in non-proactive robotics, where the robot has to understand explicitly when to start an interaction in a natural way. In this work, a novel approach is presented to detect people's intention-for-interaction. The proposed detector fuses multimodal cues, including estimated head pose, shoulder orientation and vocal activity detection, using a probabilistic discrete state Hidden Markov Model. The multimodal detector achieves up to 80% correct detection rates improving purely audio and RGB-D based variants

Quels sont les objets égarés à domicile par les personnes âgées fragiles ? Une étude pilote sur 60 personnes

National audienceLoosing objects is a cause of conflicts between frail elderlies and their caregivers. To our knowledge, the literature addressing delusion of theft doesn’t provide information on the objects that are involved. In the RIDDLE project, we are using a companion robot to help the elderly find the objects they are looking for. Hence, we initiated a study with the cross interviews of 60 patient/caregiver dyads to identify which objects would be most relevant to them. Objects are looked for by the patient according to 72 % of the patients and 82 % of the caregivers. The most commonly looked for objects, when they are in use by the patient, are: spectacles (45 %), house keys (34 %), mobile (31 %), wallet (26 %), remote control (19 %), and cane (22 %). After rigging the localization technology to the afore-mentioned objects, the related service will have to be customized to the ways of the user.La perte d’objets cause des conflits entre les personnes âgées fragiles et leur famille. Le projet Riddle utilise un robot compagnon pour aider des personnes âgées à retrouver des objets. La bibliographie sur le délire de vol ne donne pas de liste d’objets recherchés. L’objectif est de définir les objets les plus pertinents à localiser en réalisant un interrogatoire croisé, séparément, de 60 couples patient/aidant. Soixante-douze pour cent des patients recherchent des objets (82 % pour les aidants). Les objets utilisés les plus recherchés sont : lunettes (45 %), clés de maison (34 %), téléphone portable (31 %), porte-monnaie (26 %), télécommande (19 %), canne (22 %). Après équipement technique des objets ainsi définis, la mise en œuvre du service d’aide devra tenir compte de l’usage individuel

A multi-modal perception based assistive robotic system for the elderly

Edited by Giovanni Maria Farinella, Takeo Kanade, Marco Leo, Gerard G. Medioni, Mohan TrivediInternational audienceIn this paper, we present a multi-modal perception based framework to realize a non-intrusive domestic assistive robotic system. It is non-intrusive in that it only starts interaction with a user when it detects the user's intention to do so. All the robot's actions are based on multi-modal perceptions which include user detection based on RGB-D data, user's intention-for-interaction detection with RGB-D and audio data, and communication via user distance mediated speech recognition. The utilization of multi-modal cues in different parts of the robotic activity paves the way to successful robotic runs (94% success rate). Each presented perceptual component is systematically evaluated using appropriate dataset and evaluation metrics. Finally the complete system is fully integrated on the PR2 robotic platform and validated through system sanity check runs and user studies with the help of 17 volunteer elderly participants

Rackham: An Interactive Robot-Guide

International audienceRackham is an interactive robot-guide that has been used in several places and exhibitions. This paper presents its design and reports on results that have been obtained after its deployment in a permanent exhibition. The project is conducted so as to incrementally enhance the robot functional and decisional capabilities based on the observation of the interaction between the public and the robot. Besides robustness and efficiency in the robot navigation abilities in a dynamic environment, our focus was to develop and test a methodology to integrate human-robot interaction abilities in a systematic way. We first present the robot and some of its key design issues. Then, we discuss a number of lessons that we have drawn from its use in interaction with the public and how that will serve to refine our design choices and to enhance robot efficiency and acceptability

Perception pour la robotique mobile en environnement humain

Ce mémoire d'habilitation à diriger les recherches porte sur la perception et la compréhension conjointe de l'espace et du milieu par un robot cognitif autonome. Dans ce contexte, la démarche consiste ici à intégrer des percepts multiples et incertains à tous les niveaux de la perception à partir de capteurs visuels embarqués. Ces travaux se structurent en deux thèmes. Le premier thème se focalise sur la perception de l'espace pour la navigation autonome en milieu intérieur. Nos travaux antérieurs ont mis l'accent sur une méthodologie complète de détection, reconnaissance et localisation sur amers visuels validée par des expérimentations réelles sur le robot Diligent. Ces amers sont capturés automatiquement par le robot dans les différentes représentations métriques et topologiques de son environnement de travail. La navigation consiste alors à exploiter ces modèles pour se localiser métriquement ou qualitativement, sur la base de données visuelles, éventuellement télémétriques. À terme, ces représentations seront enrichies par des informations sémantiques capturées en interaction avec l'homme. Cet apprentissage supervisé, la perspective d'un robot sociable, nous ont amené à démarrer le second thème sur la perception par le robot de l'homme pour leur interaction. Nos travaux ont porté sur la détection, le suivi, la reconnaissance de l'homme par vision monoculaire couleur. Parmi ces fonctions, la problématique du suivi est centrale puisque la plupart des tâches robotiques coordonnées avec l'homme nécessite de caractériser la relation d'une plate-forme mobile aux agents humains a priori mobiles. Nous avons ainsi prototypé puis intégré plusieurs fonctions de suivi 2D ou 3D de tout ou partie des membres corporels de l'homme par le choix conjoint de stratégies de fusion de données visuelles et de filtrage particulaire répondant aux modalit és d'interaction envisagées pour le robot "guide" Rackham et le robot compagnon Jido. Les prospectives énoncées visent à l'interactio n de percepts relative à la perception simultanée par le robot de l'espace et/ou de l'homme. La problé- matique de l'intelligence ambiante, par l'ajout de robots anthropomorphes type humanoïde dans ces environnements humains, devrait infléchir ces travaux tout en recoupant certaines investigations passées ou actuelles